成对目标范例是机器学习的重要方面。使用成对目标功能的机器学习方法的示例包括面部识别,度量学习,两分性学习,多个内核学习以及曲线下面积(AUC)最大化的差异网络。与点学习相比,成对学习的样本量随样本数量的数量二次增长,从而使其复杂性增长。研究人员主要通过使用在线学习系统来应对这一挑战。然而,最近的研究为平滑损失功能提供了自适应样本量训练,作为融合和复杂性方面的更好策略,但没有全面的理论研究。在一项独特的研究方面,重要性抽样引发了有限的角度最小化的极大兴趣。这是因为随机梯度方差,这会导致收敛大大减慢。在本文中,我们将自适应样本量和对成对学习的重要性采样技术结合在一起,并保证非平滑凸成对损失函数的收敛保证。特别是,使用扩展的训练集对模型进行随机训练,以针对从稳定性边界得出的预定义数量的迭代。此外,我们证明在每次迭代时进行采样相反的实例会降低梯度的方差,从而加速收敛。 AUC最大化中各种数据集的实验证实了理论结果。
translated by 谷歌翻译